多模态大模型“轻松”诊疗糖尿病 | 新质生产力中的医学科技创新
近日，国际期刊《自然·医学》（Nature Medicine）刊登文章，介绍了全球首个面向糖尿病诊疗的视觉-大语言模型多模态集成智能系统DeepDR- LLM。这是上海交通大学医学院附属第六人民医院贾伟平教授和李华婷教授团队与上海交通大学计算机科学与工程系/人工智能教育部重点实验室盛斌教授团队，携手清华大学黄天荫教授团队和新加坡国立大学覃宇宗教授团队，通过医工交叉合作产出的研究成果。
该研究得到科技部国家重点研发计划、国家自然科学基金和上海市科委“一带一路”国际联合实验室建设项目等资助。
ZHAO XIN
（点击听全文）
✦ 数字解决方案赋能基层医疗
✦
全球糖尿病患者人数预计超5亿，其中80%生活在中低收入国家。糖尿病防治形势严峻，基层医生的数量和经验远不能满足糖尿病管理的实际需求。糖尿病患病率的不断上升对中国及全球的公共卫生构成重大挑战，亟须构建糖尿病一体化管理的适宜型数字解决方案，赋能基层医疗。
人工智能特别是深度学习技术在糖尿病及并发症管理领域发挥着越来越重要的作用。早在2017年，时任新加坡国家眼科中心医学主任的黄天荫教授及其团队，在国际上率先基于深度学习算法在多种族人群中实现了自动诊断中重度糖尿病视网膜病变（DR）。相关研究成果发表在《美国医学会杂志》（JAMA）上。
2015年以来，贾伟平教授组织多学科团队开展了20万人糖尿病眼病筛查项目。2018年，贾伟平教授和李华婷教授团队与上海交通大学盛斌教授团队开展医工交叉协同创新，携手新加坡国家眼科中心等机构，在上海市科委和上海交通大学支持下，获批组建上海市代谢相关疾病智慧防控“一带一路”国际联合实验室，致力于在代谢相关疾病防治领域开展广泛医工交叉和国际合作。
联合实验室自建立以来，成功研制了迁移强化的多任务深度学习系统DeepDR，可实现对糖尿病视网膜病变从轻度到增殖期病变的全病程自动诊断，并能实现对眼底图像质量的实时反馈，以及眼底病变的识别分割。相关成果于2021年在国际期刊《自然·通讯》（Nature Communications）上发表。该系统还被国际糖尿病联盟应用于“全球中低收入国家糖尿病视网膜病变筛查项目”，推广至48个国家。
2021年底，黄天荫教授受聘于清华大学担任讲席教授及医学学科带头人，积极开展人工智能赋能糖尿病及眼病并发症诊疗的转化研究工作。“一带一路”国际联合实验室与黄天荫教授团队持续合作，成功构建基于Weibull混合分布模型的深度学习系统DeepDR Plus，在全球率先实现长达5年的糖尿病视网膜病变进展风险预警和进展预测，超越了此前由美国谷歌公司拥有的该领域相关技术。
DeepDR Plus可在大幅降低筛查频率和公共卫生成本的情况下依然保持极低的漏诊率。相关成果于2024年1月在国际期刊《自然·医学》（Nature Medicine）上发表。
✦ “一站式”生成精准诊治意见
✦
既往的人工智能系统研发主要集中在糖尿病并发症筛查或辅助管理的单一领域。随着全球范围内以ChatGPT为代表的生成式人工智能技术的迅猛发展，多模态大模型正不断推动医疗领域的新应用场景和模式的涌现，但这些模型尚不能根据患者的医学影像和具体病情，提供准确且安全的糖尿病综合诊疗建议。
如何将糖尿病并发症的精准诊断与糖尿病诊疗意见的自动生成进行有效整合，构建出一个安全可控的多模态智能模型，以支持基层医生提供一站式辅助诊疗服务，已成为国际医疗领域的前沿课题和重大挑战。
针对当前的技术空白和临床实际需求，研究人员再次成功研发了全球首个面向糖尿病基层诊疗的视觉-大语言模型多模态集成智能系统DeepDR-LLM。该系统突破了低算力资源约束下的多模态大模型优化瓶颈，基于37.2万条基层慢病诊疗和慢病管理数据完成高效优化训练，最终实现了根据患者的个体临床信息即可生成精准糖尿病管理意见。与此同时，通过超50万张眼底图像训练，DeepDR-LLM可精准实现眼底影像的质量检测、病变分割和糖尿病视网膜病变诊断分级。
自2023年系统研制成功后，为了对DeepDR-LLM 开展安全性、可靠性、可控性、公平性等多维度评估，研究团队邀请香港中文大学Juliana C. N. Chan教授、上海交通大学医学院附属第六人民医院包玉倩教授，以及澳大利亚、美国、新加坡的多位糖尿病相关学者组成国际多学科专家委员会。
专家委员会从中国糖尿病慢性并发症研究队列中随机抽取100个病例样本，并针对每个病例形成诊疗共识，以此为标准答案，接着对DeepDRLLM和基层医生给出的诊疗意见进行盲法评分。结果发现，DeepDRLLM产出诊疗意见的质量达到或优于基层医生的水平。
6个国家的超50万张糖尿病患者眼底图像检测显示，DeepDRLLM对糖尿病视网膜病变的诊断能力达到专业眼科医生水平。面向中国基层医生和新加坡读片人员的读片试验显示，基层医生在DeepDR-LLM的辅助下能够更准确地判读糖尿病视网膜病变。真实世界研究显示，将DeepDR- LLM纳入糖尿病诊疗流程，有助于新发糖尿病患者的自我管理，还可提高糖尿病视网膜病变患者的转诊依从性。
✦ 奏响智能筛、防、治“三部曲”
✦
DeepDR-LLM融合了大语言模型和深度学习技术优势，实现了医学影像诊断与诊疗意见的多模态生成功能，能提供糖尿病视网膜病变辅助诊断结果及个性化糖尿病综合管理意见。研究人员对该系统在7个国家的多中心队列中进行了回顾性验证，并针对中国基层医疗实际开展了前瞻性真实世界验证，首次向全球提供了糖尿病医疗领域多模态大模型应用成效的高质量循证证据。相关研究证明，DeepDR-LLM有助于提高基层糖尿病管理水平，可为未来全球糖尿病管理提供全新的数字解决方案。
研究团队秉承以人为本、智能向善理念，通过医工交叉和国内外学术合作，先后奏响了糖尿病智能筛、防、治的DeepDR“三部曲”（DeepDR、DeepDR-Plus、DeepDR-LLM），为糖尿病管理提供了新的高质量循证证据。一系列研究不仅推动了“一带一路”及中低收入国家和地区的基层糖尿病管理模式的持续进步，还为全球糖尿病防治更好地融入数字化、智能化、绿色化潮流贡献了中国方案和亚洲智慧。
原文刊于《健康报》（2024年8月21日 第6版）
作者：健康报特约记者 陈焕华
编辑制作：王建影
审核：谭嘉
近期好文
关注 2023年度中国医学院校/中国医院科技量值（STEM）发布（附榜单）
新知 高血压能“自愈”？《柳叶刀》的这项研究引发对高血压认识的再思考